Python Peephole Optimizations

Peephole optimizations：在 Python 編譯程式碼時進行一些優化的策略。

縮減常數項

看一下以下的程式碼：

def my_func():
    a = 24 * 60
    b = (1, 2) * 5
    c = 'abc' * 3
    e = 'the quick brown fox' * 1000
    f = [1, 2] * 5

my_func.__code__.co_consts  # 印出函式中的常數項

(None,
 1440,
 (1, 2, 1, 2, 1, 2, 1, 2, 1, 2),
 'abcabcabc',
 'the quick brown fox',
 1000,
 1,
 2,
 5)

我們一項一項來解釋：

1. 24 * 60：常使用到的一天1440分鐘，這裡發現Python直接預先計算出1440並從此將 24 * 60 替換成1440（所以常數項沒有24和60），為什麼Python自動這樣做？假設這個函式要執行一百次，每次執行到 24 * 60 就要做同樣的乘法一百次，那不如先把乘法算出來，然後直接把這一行 24 * 60 替換成 1440，對嗎？這裡的重點是：24 * 60 是常數項，結果永遠是 1440 不會變，Python 才敢這樣替換程式碼。
2. tuple (1,2) * 5，也是常數項對嗎？所以Python直接替換成(1,2,1,2,1,2,1,2,1,2)。
3. 字串 "abc" * 3 也是常數項，自動替換成 "abcabcabc"
4. 'the quick brown fox' * 1000：這個字串太長了！Python3.7 以上設定字串自動 interning 的上限是 4096 字元，超過的字串就不會自動做 interning，所以這邊看到 Python 編譯時留下了 'the quick brown fox' 和 1000，沒轉換成 'the quick brown foxthe quick brown fox...'
5. list [1, 2] * 5： list 是可變的物件，並非常數項，所以這邊也沒做常數最佳化。（常數是1, 2, 5）

Membership Tests（成員測試）

membership testing 相信大家寫程式天天都在用，先看一下程式碼：

def my_func():
    if e in [1, 2, 3]:
        pass

my_func.__code__.co_consts

(None, (1, 2, 3))

可以發現 [1, 2, 3] 被轉換成了 (1, 2, 3)，雖然是 list 但因為這邊檢查元素是否在 [1, 2, 3] 裏面時這個 list 不會變動，故可以視為對一個 tuple (1, 2, 3) 做 membership testing，所以 Python 也自行轉換成 tuple 了。

同樣邏輯，set 也會被轉換成 frozen set：

def my_func():
    if e in {1, 2, 3}:
        pass

my_func.__code__.co_consts

(None, frozenset({1, 2, 3}))

一般情況下，如果你做 membership testing 時可以用 set 替代 list/tuple ，最好就換成 set，因為效率會有提升。

用以下程式碼做一下測試，看看誰是飛毛腿：

import string
import time 

char_list = list(string.ascii_letters)
char_tuple = tuple(string.ascii_letters)
char_set = set(string.ascii_letters)

print(char_list)
print()
print(char_tuple)
print()
print(char_set)

['a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J', 'K', 'L', 'M', 'N', 'O', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y', 'Z']

('a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J', 'K', 'L', 'M', 'N', 'O', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y', 'Z')

{'g', 'F', 'N', 'k', 'o', 'r', 'x', 'D', 'l', 'G', 'Z', 'h', 'v', 'e', 'y', 'z', 'p', 'd', 'O', 'P', 'a', 'H', 'L', 'X', 'b', 'c', 'I', 'R', 'u', 'Y', 'E', 't', 'V', 'A', 'S', 'm', 'f', 'Q', 's', 'i', 'C', 'n', 'B', 'J', 'q', 'M', 'K', 'T', 'W', 'j', 'U', 'w'}

def membership_test(n, container):
    for i in range(n):
        if 'p' in container:
            pass

start = time.perf_counter()
membership_test(10000000, char_list)    # list 檢查 membership 所花時間
end = time.perf_counter()
print('list membership: ', end-start)

list membership:  1.2215687499992782

start = time.perf_counter()
membership_test(10000000, char_tuple)   # tuple 檢查 membership 所花時間
end = time.perf_counter()
print('tuple membership: ', end-start)

tuple membership:  1.1661940419871826

start = time.perf_counter()
membership_test(10000000, char_set)     # set 檢查 membership 所花時間
end = time.perf_counter()
print('set membership: ', end-start)

set membership:  0.1875352499919245

set 跑得飛快！這也不意外，因為 set 和 dictionary 類似，都是 hashmap 的概念，做這種 membership 的比較是 hashmap 的拿手好戲。

我們明天見～～～

參考：Python 3: Deep Dive (Part 1 - Functional)